Среди открытых документов VMware появился очень интересный док - "vSphere Snapshots: Performance and Best Practices", в котором рассматривается весьма полезные многим администраторам аспекты - производительность снапшотов, а также, как правильно с ними обращаться. Мы часто пишем про это (1, 2, 3), а вот теперь есть и хороший документ с картинками.
Основные темы документа:
Что такое снапшоты
Какие есть форматы снапшотов
Описание тестового окружения и рабочих нагрузок
Результаты тестирования производительности
Выводы по этим результатам
Итак, для тестирования использовались следующие рабочие нагрузки:
FIO (стандартный тест производительности ввода-вывода)
JVM (бенчмарк SPECjbb 2015)
OLTP database (тест HammerDB)
Давайте взглянем на результаты тестирования производительности с точки зрения гостевой системы и ее приложений:
1. Число выдаваемых IOPS в зависимости от количества снапшотов для виртуальной машины (Random I/O):
В этом тесте и в последующих мы увидим, что снапшоты не влияют на производительность хранилищ VVols - такова природа этих хранилищ. А вот с VMFS и vSAN мы видим, что производительность падает, для VMFS - в три раза уже с первого снапшота, для vSAN - с третьего.
2. Для последовательного чтения vSAN ведет себя значительно лучше, а вот на VMFS производительность уже с первого снапшота падает в 2.5 раза, и дальше только хуже:
3. Для обработки запросов SPECjbb во всех трех случаях снапшоты не оказывали влияния на производительность:
4. По количеству транзакций в секунду тест HammerDB тоже показывает падение производительности хотя бы с одним снапшотом почти в 3 раза:
Интересно, что для хранилищ vSAN со снапшотами просадки по производительности для теста HammerDB нет.
5. Интересна также производительность гостевых ОС при соазднии и при удалении снапшотов:
Как мы видим, на VMFS критичен первый снапшот, и исходная производительность возвращается виртуальной машине только с удалением последнего снапшота. На vSAN производительность уменьшается и увеличивается постепенно, с изменением количества снапшотов.
Для больших блоков ввода вывода страдает только VMFS при последовательном чтении:
При последовательной записи больших блоков снапшоты влияют только на VMFS (при этом, только первый):
Ну и в заключение VMware приводит такую табличку потерь производительности для виртуальных машин с одним снапшотом:
Итак, очевидные выводы:
Снапшоты - зло. Особенно для VMFS и иногда для vSAN.
Особенное зло снапшотов проявляется для случайного чтения (Random reads), хотя и для последовательного все далеко не так хорошо.
Хранилищам VVol все равно на снапшоты, производительность не падает.
Зло, как правило, именно первый снапшот, дальше уже не так важно, сколько их, но производительность продолжает падать.
При удалении снапшотов производительность ВМ возвращается к исходному уровню.
На днях компания VMware обновила свое основное средство для автоматизации рутинных операций в облаке на базе vSphere, выпустив vRealize Automation 8.4.2. Несмотря на то, что это минорный релиз, в продукте появилось довольно много всего нового. В прошлый раз о vRA мы писали вот тут.
Давайте посмотрим на новые возможности VMware vRA 8.4.2:
Диски, добавленные через vRealize Orchestrator, и расширения теперь показываются в диаграмме развертывания (топология)
Возможности шифрования Microsoft Azure disk encryption, которые поддерживают:
Disk Encryption для independent managed disks
Disk Encryption для действия Add Disk (Day 2 action)
Группы Property groups теперь могут:
Использовать рабочие процессы vRO для задания свойств внешних динамических значений
Привязывать пароли к property groups для использования разных паролей для разных групп
Теперь можно назначить одинаковые диапазоны IP-адресов, которые приходят от внутреннего или внешнего IPAM, для разных сетей
События Provider Events срабатывают, когда тенант вызывает одно из действий CRUD (Create, Read, Update, and Delete)
Настраиваемый лимит max number of supervisor namespaces, который определяет максимальное число пространств имен для проекта в заданной зоне Kubernetes
Управление снапшотами Microsoft Azure disk snapshot management теперь поддерживает:
Выявление снапшотов
Действие по удалению снапшота (Day 2 action)
Совместимость Managed Disk Snapshot – поддержка параметров Resource Group, Encryption set, Network policy и Tags
Более подробно о новых возможностях и изменениях в API решения VMware vRealize Automation 8.4.2 можно прочитать в Release Notes. Скачать vRA можно по этой ссылке.
Не все администраторы VMware vSphere знают, что у VMware есть очень полезный ресурс Ports and Protocols, где можно посмотреть актуальные порты и протоколы, которые используются различными продуктами. Мы писали об этом сайте в 2019 году, с тех пор он существенно обновился, и теперь там есть информация по портам и соединениям практически для всех продуктов.
Во-первых, в колонке слева теперь доступна информация не по 12 продуктам, как раньше, а по 34, среди которых есть и относительно новые, такие как Tanzu Kubernetes Grid и Lifecycle Manager:
Во-вторых, в верхней части страницы появилась вкладка «Network Diagrams», где собраны несколько сетевых диаграмм, наглядно показывающих соединения между различными компонентами продуктов:
Пока таких диаграмм немного, но список решений будет пополняться.
Компания VMware анонсировала обновление решения VMware HCX 4.1, предназначенного для миграции с различных онпремизных инфраструктур (на базе как vSphere, так и Hyper-V или KVM) в облако на платформе VMware vCloud. Напомним, что о версии HCX 4.0 мы писали весной этого года вот тут.
Давайте посмотрим, что нового в HCX 4.1:
1. Предиктивные оценки для пакетных миграций
В версии 4.0 появилась оценка пакетных миграций (Bulk Migrations), а в версии 4.1 появился драфтинг процесса оценки пакетных миграций, что позволяет быстро сделать прикидку по времени переноса ВМ:
2. Seed Checkpoint для пакетных миграций
Раньше при пакетной миграции больших виртуальных машин на базе репликации в случае неудачной миграции происходило уничтожение данных реплик на целевой площадке, что могло привести к потере данных состояний миграции за несколько дней. Теперь же можно создать контрольные точки репликации, которые можно повторно использовать в случае неудачного завершения миграции. Включается это в Migration Wizard:
Эта возможность позволяет включать маршрутизацию трафика виртуальных машин, переносимых в онпремизное или публичное облако, через облачный шлюз, вместо использования маршрутизации через роутер на исходном сайте.
Как вы знаете, в кластере отказоустойчивости VMware HA есть Primary и Secondary хосты серверов ESXi. Первые отвечают за управление кластером и восстановление виртуальных машин, а вторые – только за исполнение операций и рестарт ВМ. Недавно мы, кстати, писали о том, как сделать хост VMware vSphere Primary (он же Master) в кластере HA, а сегодня расскажем о том, какие события происходят на этих хостах в случае отказа хоста (именно полного отказа, а не при недоступности, например, его в сети).
Как пишет Дункан Эппинг, если отказывает хост Secondary, то происходят следующие вещи, начиная с времени T0:
T0 – происходит отказ хоста и недоступность виртуальных машин (например, отключение питания, завис ESXi и т.п.)
T+3 секунды – хост Primary начинает отслеживать хартбиты на хранилище в течение 15 секунд
T+10 секунд – хост помечается как unreachable и Primary хост начинает пинговать его Management Network (постоянно в течение 5 секунд)
T+15 секунд – если на датасторе на настроены хартбиты, то хост помечается как «мертвый», и начинается процесс восстановления виртуальных машин
Либо если настроены хартбиты, но их нет, то через T+18 секунд хост помечается как «мертвый», и начинается процесс восстановления виртуальных машин
В случае с отказом Primary хоста все немного дольше и сложнее, так как кластеру нужно определиться с новым Primary узлом и восстановить/перенастроить себя. Тут происходит следующее:
T0 – происходит отказ хоста и недоступность виртуальных машин (например, отключение питания, завис ESXi и т.п.)
T+10 секунд – начинаются выборы нового Primary хоста в кластере
T+25 секунд - выбор хоста Primary сделан и он читает список виртуальных машин, а также ждет, пока Secondary хосты сообщат о своих виртуальных машинах
T+35 секунд – старый хост Primary помечается как unreachable
T+50 секунд – хост помечается как «мертвый», и начинается процесс восстановления виртуальных машин согласно списку нового Primary
Надо помнить, что это все времена начала процессов, но не их завершения. Например, если процесс восстановления начинается через 15 секунд, то нужно время, чтобы найти место для виртуальной машины на новом хосте и запустить ее там – а вот это время рассчитать невозможно.
Многие администраторы VMware vSphere 7 после выхода обновления Update 2 этой платформы были удивлены, что многие настройки пропали из основного конфигурационного файла esx.conf. Мы уже рассказывали о configstore – хранилище настроек, к которому можно получить доступ через импорт и экспорт настроек в формате JSON.
Дункан Эппинг показал на примере виртуального коммутатора vSwitch, как можно работать с configstore и хранящимися там настройками. Например, вам требуется сменить имя виртуального коммутатора. Вы можете посмотреть его текущие сетевые настройки командой:
configstorecli config current get -c esx -g network_vss -k switches
Ну а экспортировать эти настройки в JSON-файл можно командой:
configstorecli config current get -c esx -g network_vss -k switches > vswitch.json
Далее вы просто открываете этот файл в текстовом редакторе и изменяете имя коммутатора c vSwitch0 на нужное:
Потом получившийся файл нужно обратно импортировать в configstore:
configstorecli config current set -c esx -g network_vss -k switches -i vswitch.json --overwrite
После этого вы увидите изменения в vSphere Client:
Также Дункан записал видео, в котором показан этот процесс:
После выхода VMware vSphere 7 Update 2 появилось много интересных статей о разного рода улучшениях, на фоне которых как-то потерялись нововведения, касающиеся работы с большими нагрузками машинного обучения на базе карт NVIDIA, которые были сделаны в обновлении платформы.
А сделано тут было 3 важных вещи:
Пакет NVIDIA AI Enterprise Suite был сертифицирован для vSphere
Появилась поддержка последних поколений GPU от NVIDIA на базе архитектуры Ampere
Добавились оптимизации в vSphere в плане коммуникации device-to-device на шине PCI, что дает преимущества в производительности для технологии NVIDIA GPUDirect RDMA
Давайте посмотрим на все это несколько подробнее:
1. NVIDIA AI Enterprise Suite сертифицирован для vSphere
Основная новость об этом находится в блоге NVIDIA. Сотрудничество двух компаний привело к тому, что комплект программного обеспечения для AI-аналитики и Data Science теперь сертифицирован для vSphere и оптимизирован для работы на этой платформе.
Оптимизации включают в себя не только средства разработки, но и развертывания и масштабирования, которые теперь удобно делать на виртуальной платформе. Все это привело к тому, что накладные расходы на виртуализацию у задач машинного обучения для карточек NVIDIA практически отсутствуют:
2. Поддержка последнего поколения NVIDIA GPU
Последнее поколение графических карт для ML-задач, Ampere Series A100 GPU от NVIDIA, имеет поддержку Multi-Instance GPU (MIG) и работает на платформе vSphere 7 Update 2.
Графический процессор NVIDIA A100 GPU, предназначенный для задач машинного обучения и самый мощный от NVIDIA на сегодняшний день в этой нише, теперь полностью поддерживается вместе с технологией MIG. Более детально об этом можно почитать вот тут. Также для этих карт поддерживается vMotion и DRS виртуальных машин.
Классический time-sliced vGPU подход подразумевает выполнение задач на всех ядрах GPU (они же streaming multiprocessors, SM), где происходит разделение задач по времени исполнения на базе алгоритмов fair-share, equal share или best effort (подробнее тут). Это не дает полной аппаратной изоляции и работает в рамках выделенной framebuffer memory конкретной виртуальной машины в соответствии с политикой.
При выборе профиля vGPU на хосте с карточкой A100 можно выбрать объем framebuffer memory (то есть памяти GPU) для виртуальной машины (это число в гигабайтах перед буквой c, в данном случае 5 ГБ):
Для режима MIG виртуальной машине выделяются определенные SM-процессоры, заданный объем framebuffer memory на самом GPU и выделяются отдельные пути коммуникации между ними (cross-bars, кэши и т.п.).
В таком режиме виртуальные машины оказываются полностью изолированы на уровне аппаратного обеспечения. Выбор профилей для MIG-режима выглядит так:
Первая цифра сразу после a100 - это число слайсов (slices), которые выделяются данной ВМ. Один слайс содержит 14 процессоров SM, которые будут использоваться только под эту нагрузку. Число доступных слайсов зависит от модели графической карты и числа ядер GPU на ней. По-сути, MIG - это настоящий параллелизм, а обычный режим работы - это все же последовательное выполнение задач из общей очереди.
Например, доступные 8 memory (framebuffers) слотов и 7 compute (slices) слотов с помощью профилей можно разбить в какой угодно комбинации по виртуальным машинам на хосте (необязательно разбивать на равные части):
3. Улучшения GPUDirect RDMA
Есть классы ML-задач, которые выходят за рамки одной графической карты, какой бы мощной она ни была - например, задачи распределенной тренировки (distributed training). В этом случае критически важной становится коммуникация между адаптерами на нескольких хостах по высокопроизводительному каналу RDMA.
Механизм прямой коммуникации через шину PCIe реализуется через Address Translation Service (ATS), который является частью стандарта PCIe и позволяет графической карточке напрямую отдавать данные в сеть, минуя CPU и память хоста, которые далее идут по высокоскоростному каналу GPUDirect RDMA. На стороне приемника все происходит полностью аналогичным образом. Это гораздо более производительно, чем стандартная схема сетевого обмена, об этом можно почитать вот тут.
Режим ATS включен по умолчанию. Для его работы карточки GPU и сетевой адаптер должны быть назначены одной ВМ. GPU должен быть в режиме Passthrough или vGPU (эта поддержка появилась только в vSphere 7 U2). Для сетевой карты должен быть настроен проброс функций SR-IOV к данной ВМ.
Более подробно обо всем этом вы можете прочитать на ресурсах VMware и NVIDIA.
На сайте проекта VMware Labs обновился нативный USB-драйвер для ESXi, который необходим для сетевых адаптеров серверов, подключаемых через USB-порт. Такой адаптер, например, можно использовать, когда вам нужно подключить дополнительные Ethernet-порты к серверу, а у него больше не осталось свободных PCI/PCIe-слотов.
По умолчанию отключено сканирование шины USB (расширенная настройка usbBusFullScanOnBootEnabled=0) - это позволяет предотвратить розовый экран смерти (PSOD) для пользователей, использующих несколько сетевых карт на USB-портах
Таблица поддерживаемых чипсетов и адаптеров на сегодняшний день выглядит так:
Загрузить USB Network Native Driver for ESXi для VMware vSphere 7.0 Update 1 и Update 2 можно по этой ссылке.
Мы несколькораз писали об онлайн-сервисе
VMware vSphere DRS Dump Insight, который позволяет показывать различную информацию по перемещению виртуальных машин в кластере DRS на портале самообслуживания, куда пользователи могут загружать файлы дампов.
Это позволяет вам получить ответы на следующие вопросы:
Какие рекомендации DRS сделал на основе анализа cost/benefit
Почему DRS сделал именно эту рекомендацию
Почему DRS вообще иногда не делает рекомендаци для балансировки кластера
Как кастомное правило affinity/anti-affinity влияет на балансировку в кластере
Где взять полный список рекомендаций DRS
На днях у VMware вышло руководство пользователя по этой утилите, которое будет интересно почитать всем администраторам кластеров VMware DRS, решившим начать анализировать дампы DRS:
DRS Dump Insight User Guide небольшой и занимает всего 20 страниц, но там есть очень конкретные рекомендации по работе с интерфейсом утилиты и по трактовке ее результатов:
Напомним, что DRS Dump Insight в целом может делать следующие вещи:
Автоматизация воспроизведения дампов (с помощью встроенных кастомных DRS replayers)
Предоставление и визуализация дополнительной информации, которая недоступна в обычных анализаторах логов
Парсинг и анализ логов для понимания и наглядного отображения решений балансировщика DRS
Генерация итогового результата в текстовом формате
Скачать VMware vSphere DRS Dump Insight User Guide можно по этой ссылке.
Некоторые администраторы VMware vSphere хотели бы закрыть доступ для некоторых пользователей к интерфейсу vSphere Client или ограничить его определенными адресами, оставив доступ через API. Например, это нужно тогда, когда пользователи vSphere не соблюдают установленные процедуры и регламенты при работе в интерфейсе клиента (например, не фиксируют внесенные в конфигурации виртуальных машин изменения).
Вильям Ламм рассказал о простом способе ограничения доступа к UI клиента vSphere Client. Делается это через настройки сервера Apache Tomcat, на базе которого построен виртуальный модуль vCenter Server Appliance. Называется это Access Control Valve - по ссылке можно подробно изучить опции, которые можно применять, а мы же рассмотрим простой пример ниже.
Идем по SSH на vCSA и открываем там следующий файл:
Значения x.x.x.x, y.y.y.y и далее за ними можно указать как разрешенные адреса для соединения с сервером. Блок "127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1|localhost" должен присутствовать всегда для обеспечения локального соединения сервисов самого vCenter.
Адреса, не занесенные в этот список, при соединении через веб-браузер получат 403 ошибку, при этом доступ через PowerCLI и API останется для этих адресов (поскольку это только настройка веб-сервера):
Да, и надо не забыть, что для того, чтобы изменения веб-сервера вступили в силу, надо его перезапустить командой:
Если вы часто имеете дело с технической поддержкой VMware, то знаете, что довольно часто требуется собирать с хостов VMware ESXi дампы. Нередко администраторы настраивают удаленную отсылку дампов на сервер VMware vCenter Server Appliance (vCSA). По умолчанию размер раздел для дампов на нем равен 2 ГБ, что может оказаться мало, если инфраструктура у вас большая.
Вильям Лам задался этим вопросом и вспомнил, что есть такая настройка Repository max size в разделе ESXi Dump Collector для старого клиента vSphere Web Client:
Между тем, в новый vSphere Client на базе HTML 5 эту настройку не перенесли. Поэтому если вы используете VMware vCSA версий 6.7 или 7.0 с новым клиентом, то вам нужно открыть файл /etc/sysconfig/netdumper и изменить там следующий параметр:
NETDUMPER_DIR_MAX_GB
Максимальный его размер может составлять 10GB.
После изменения размера раздела для дампов нужно перезапустить сервис дампера. На vCSA 7 делается одной командой:
Некоторое время назад мы писали о новой версии решения VMware Cloud Foundation 4.2 (VCF), которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.
На днях VMware сделала небольшое обновление этого пакета - VMware Cloud Foundation 4.2.1, давайте посмотрим, что там нового:
Обновления безопасности для Photon OS в SDDC Manager 4.2.1 (пакет PHSA-2021-3.0-185 обновлен до PHSA-2021-3.0-209 - подробнее тут).
Критические обновления безопасности для VMware vCenter Server Appliance (мы писали об уязвимости тут).
Обновление некоторых версий продуктов в составе пакета.
Новый Bill of Materials включает в себя следующие версии решений VMware:
Продукт
Версия
Дата релиза
Номер билда
Cloud Builder VM
4.2.1
25 MAY 2021
18016307
SDDC Manager
4.2.1
25 MAY 2021
18016307
VMware vCenter Server Appliance
7.0.1.00301
25 MAY 2021
17956102
VMware ESXi
7.0 Update 1d
04 FEB 2021
17551050
VMware NSX-T Data Center
3.1.2
17 APR 2021
17883596
VMware vRealize Suite Lifecycle Manager
8.2 Patch 2
04 FEB 2021
17513665
Workspace ONE Access
3.3.4
04 FEB 2021
17498518
vRealize Automation
8.2
06 OCT 2020
16980951
vRealize Log Insight
8.2
06 OCT 2020
16957702
vRealize Log Insight Content Pack for NSX-T
3.9.2
n/a
n/a
vRealize Log Insight Content Pack for Linux
2.1
n/a
n/a
vRealize Log Insight Content Pack for Linux -Systemd
1.0
n/a
n/a
vRealize Log Insight Content Pack for vRealize Suite Lifecycle Manager 8.0.1+
1.0.2
n/a
n/a
vRealize Log Insight Content Pack for VMware Identity Manager
2.0
n/a
n/a
vRealize Operations Manager
8.2
06 OCT 2020
16949153
vRealize Operations Management Pack for VMware Identity Manager
1.1
n/a
n/a
Для пользователей пакета версии 3.10.2 также есть обновление - VCF 3.10.2.1, о нем прдробно рассказано вот тут. Вот его Bill of Materials:
Продукт
Версия
Дата релиза
Номер билда
SDDC Manager
3.10.2.1
25 MAY 2021
18015401
VMware vCenter Server Appliance
6.7 Update 3n
25 MAY 2021
18010531
Об обновлении подсистемы безопасности VMware vCenter Server Appliance 6.7 Update 3n рассказано тут.
Вильям Ламм написал интересную статью про USB-устройства на хосте VMware ESXi, когда нужно использовать некоторые устройства как хранилища, а некоторые - для проброса в виртуальные машины. При этом, в рамках данной методики, не нужно останавливать USB Arbitrator Service на хосте.
Итак, для начала выводим список доступных USB-интерфейсов на сервере:
esxcli hardware usb passthrough device list
У Вильяма в списке 2 USB-хранилища (их пары VendorId:ProductId имеют значения 90c:2000 и 90c:1000):
Для второго устройства можно отключить именно функции проброса USB (passthrough), чтобы устройство не могло быть презентовано виртуальной машине. Для этого выполняем такую команду:
esxcli hardware usb passthrough device disable -d 2:7:90c:1000
После этого будет вот такая картина:
Далее уже можно подключить это устройство хранения к хосту ESXi, чтобы использовать его для создания VMFS-томов. Процедура описана вот тут, посмотрим на нее вкратце.
Сначала добавляем расширенную настройку (Advanced Setting) на хосте ESXi, чтобы он принимал SSD-диски, подключенные к USB:
esxcli system settings advanced set -o /Disk/AllowUsbClaimedAsSSD -i 1
Теперь нужно создать SATP-правило, которое помечает наше USB-устройство как SSD-диск. Для этого нужно получить имя устройства с помощью команды:
vdq -q
Затем создаем переменную с именем устройства, например:
Теперь устройство можно использовать как SSD-диск для vSAN или VMFS. Если хотите использовать его для vSAN, то нужно включить соответствующую расширенную настройку командой:
esxcli system settings advanced set -o /VSAN/AllowUsbDisks -i 1
После этого вы сможете увидеть данное устройство в выводе команды vdq -q как совместимое для vSAN, на котором можно создавать дисковые группы:
Если же вы хотите использовать этот SSD-диск как хранилище VMFS, то нужно сначала создать том, чтобы он был виден в интерфейсе vSphere Client.
Дункан Эппинг написал интересный пост о том, что в кластере VMware HA есть возможность сделать хостам ESXi такую настройку, чтобы они выбирались как Primary при конфигурации/реконфигурации кластера. Это может оказаться полезным, например, в растянутом (Stretched) кластере, когда вам важно, чтобы Primary-хосты находились на основной площадке с целью ускорения процесса восстановления после сбоя (речь идет о 2-3 секундах в большинстве случаев, но для некоторых инфраструктур это может быть критично).
Пост этот актуален еще и потому, что настройки несколько изменились, начиная с VMware vSphere 7 Update 1, поэтому информация об этом может быть полезна для администраторов.
Прежде всего, в статье VMware KB 80594 рассказывается о том, какие настройки были изменены в механизме VMware FDM (он же HA). Самое главное, что до vCenter 7 Update 1 настройки хранились в файле /etc/opt/vmwware/fdm/fdm.cfg, теперь же они переехали в ConfigStore, работать с которым нужно путем импорта и экспорта json-файлов конфигурации.
Вот, кстати, интересующая нас табличка с изменениями параметров Advanced Settings в FDM:
Нас здесь интересует настройка node_goodness, большое численное значение которой и определяет, будет ли данный узел выбран как Primary (ранее в HA он также назывался Master).
Итак, Дункан показывает, как можно экспортировать расширенные настройки из ConfigStore:
configstorecli config current get -g cluster -c ha -k fdm
{
"mem_reservation_MB": 200,
"memory_checker_time_in_secs": 0
}
Все это можно также экспортировать в json-файл командой:
configstorecli config current get -g cluster -c ha -k fdm > test.json
Далее добавляем в этот json параметр node_goodness с большим значением, например, 10000000:
Весной этого года мы писали о двух критических ошибках безопасности в сервисах VMware Carbon Black и VMware vCenter - тут и тут, соответственно. В свое время для них были выпущены патчи, закрывающие эти уязвимости. Но, надо сказать, что это далеко не единственные критические моменты в инфраструктуре безопасности vCenter - на днях VMware опубликовала патчи к VMSA-2021-0010 (сообщения CVE-2021-21985 и CVE-2021-21986).
Суть уязвимости заключается в том, что в плагине Virtual SAN Health Check есть дыра в процедуре валидации ввода данных, которая позволяет злоумышленнику получить доступ к удаленному исполнению кода через vSphere Client. CVSSv3 base score этой уязвимости максимальный - 9.8, поэтому нужно обновлять серверы vCenter прямо сейчас.
Если вы не используете VMware vSAN, у вас все равно эта дырка есть, так как плагин vSAN идет вместе с установкой vCenter по умолчанию. Затронуты, кстати, vCenter версий 6.5, 6.7 и 7.0 и их обновления, то есть все самые актуальные на текущий момент. Компания VMware создала по данной уязвимости специальный FAQ.
Если вы не пользователь vSAN, то плагин вы можете просто отключить, но вот если вы используете vSAN для хралищ на базе серверов ESXi, то отключение плагина приведет к невозможности пользоваться консолью управления vSAN.
Также по данной уязвимости на VMware Communities есть специальный трэд.
Итак, теперь, собственно, какие патчи вам надо накатить (полное описание находится здесь):
Для vCenrer 6.7 накатываем vCenter 6.7 Update 3n (вот тут)
Для vCenrer 6.5 накатываем vCenter 6.5 Update 3p (вот тут)
VMware настойчиво рекомендует сделать обновление прямо сейчас, чтобы злоумышленники и всякое ransomware не добавили вам проблем, например, перед летним отпуском:)
Итак, что нового появилось в StarWind Virtual SAN v8 for Hyper-V в этом году:
1. Компоненты VTL и Cloud Replication
Поддержка Microsoft Azure - добавлена опция по загрузке файлов в Archive tier напрямую, без необходимости сначала добавлять их в Hot/Cool tier и дальнейшего перемещения в архив.
Возможность Write Protect для виртуальных кассет.
Минимальный размер кассеты установлен в 50 МБ.
Режим VTL file operation mode изменен на принудительное закрытие неиспользуемых файлов. Если в работе слишком много частей виртуальных кассет, то много открытых файлов могло привести к исчерпанию ресурсов. Изменить это поведение теперь можно в параметре closedatafiles в конфиге StarWind.cfg.
Исправлена ошибка при восстановлении кассет, разделенных на части, из облака (некоторые части могли не загружаться).
Пофикшена ошибка в cloud replication, которая могла возникать, если установлена опция "Create new empty tapes automatically when existing tape removed from VTL for replication". Если она была включена, это могло привести к падению сервиса при создании новой виртуальной кассеты.
2. Улучшения синхронной репликации
Исправлена ошибка с отклонением синхронизации HA-узла при перезапуске сервиса на одном из узлов (иногда процедура не стартовала автоматически).
Исправлена ошибка, приводившая к падению сервиса в случае, если соединение с хранилищем или сетевое соединение испытывало падение производительности.
Исправлена реализация алгоритма Node Majority failover strategy. Ранее она работала некорректно в случае, если соединение между узлами было нарушено, но только в одну сторону.
Пофикшена процедура автоматического восстановления для трехсторонней репликации. Ранее она использовала информацию от двух из трех узлов, что некорректно для процедура auto-restore. Теперь учитывается статус от всех трех узлов.
Поправлено некорректное поведение при операции расширения размера хранилища на узле. Это приводило к разрыву соединения для некоторых случаев, когда операции по работе с хранилищем занимали продолжительное время.
Исправлена ошибка, которая вела к полной синхронизации вместо быстрой в некоторых случаях.
Исправлена ошибка с обработкой IO-запросов на одном из хранилищ, приводившая к тому, что в случае зависания запроса на конфигурации с three-way репликацией происходила некорректная работа на всех трех узлах.
3. Основные улучшения
Улучшения производительности для версии VSA (Virtual Storage Appliance).
Исправлена проблема с закрытием сессии в случаях, когда обнаруживался критический недостаток ресурсов.
Исправлена проблема с обработкой операции control connection close - в некоторых случаях это приводило к генерации большого числа нотификаций, а Management Console переставала отвечать.
Исправлена процедура session close при остановке службы - теперь она не зависает в некоторых редких случаях.
Исправлена проблема с зависанием Management Console при накатывании бесплатной лицензии на сервер без интернет-соединения.
Физические устройства теперь есть в общем списке устройств. Их можно использовать для экспорта с физических ленточных устройств.
Добавлено свойство MaintenanceMode для объекта HA Device.
Загрузить пробную версию StarWind Virtual SAN v8 for Hyper-V можно по этой ссылке. Документация доступна здесь, а Release Notes - вот тут.
Отметим также, что обновился и продукт в формате виртуального модуля для платформы VMware - StarWind VSAN for vSphere (OVF Version 20210520, Version 8 build 14120). Release notes доступны тут (список улучшений там практически такой же, за исключением некоторых моментов в мартовской версии).
Недавно мы писали о VM Service - службе, которая дает разработчикам и администраторам, работающих со средой контейнеров Kubernetes в решении vSphere with Tanzu, возможности по развертыванию виртуальных машин. Она была анонсирована в vSphere 7 Update 2a.
Многие пользователи жалуются, что консоль виртуальных машин, развернутых через VM Service в кластере vSphere with Tanzu, оказывается недоступна для логина, даже для администраторов. Над этой проблемой работают, но пока в интерфейсе это выглядит так:
Между тем, попасть в консоль иногда нужно (например, для отладки или траблшутинга) - и для этого есть воркэраунд.
Итак, заходим по SSH на VMware vCenter Server Appliance (vCSA) и выполняем следующие команды, которые получают root-пароль от Supervisor Cluster, выводят его в консоли и инициируют сессию к одному из узлов супервизор-кластера:
Когда вышло обновление VMware vSphere 7 Update 2, мы рассказывали о новых оптимизациях для процессоров AMD EPYC, которые были сделаны в платформе виртуализации на базе гипервизора ESXi. Реализация поддержки новых функций CPU идет в соответствии с развитием технологий аппаратной виртуализации AMD, которую VMware поддерживает наравне с таковой от Intel.
В документе есть много интересных тестов (большинство из них сделано с помощью утилиты VMmark3), приведем ниже результаты некоторых из них:
Увеличение производительности одной ВМ для БД Microsoft SQL Server под нагрузкой HammerDB (тут и далее нормировано к показателям vSphere 7 Update 1):
Несколько виртуальных машин с 8 vCPU на борту и нагрузкой HammerDB - производительность при увеличении числа виртуальных машин на хосте:
Использование базы данных CockroachDB на 6-узловом кластере, прирост производительности до 50%:
Тестирование кластера Kubernetes c узлами по 64 воркера с помощью бенчмарка Weathervane (на 16 инстансах приложений прирост производительности - более 40%):
Многие из вас, наверняка, знакомы с инфраструктурой публичного облака VMware Cloud on AWS, которая была анонсирована еще летом 2017 года. Это все та же платформа VMware vSphere, все те же серверы VMware ESXi, но стоят они физически в датацентрах Amazon. Все это управляется совершенно нативно для инфраструктуры vSphere, туда же включаются и решение...
Недавно мы писали о новой службе Virtual Machine Service, которая появилась в последней версии VMware vCenter 7 Update 2a, вышедшей несколько дней назад. Через некоторое время компания VMware обновила и свою основную платформу виртуализации до версии ESXi 7 Update 2a, обновив таким образом оба компонента VMware vSphere 7 до Update 2a.
Основным нововведением ESXi 7 Update 2a (он же билд 17867351) является исправление бага с апгрейдом с прошлых версий vSphere. Пользователи, у которых был настроен кастомный бейслайн vSphere Lifecycle Manager (vLCM), после апгрейда получали вот такую ошибку (для билда 17630552 в комплекте Update 2):
Failed to load crypto64.efi
Теперь старый билд Update 2 был убран из репозитория, а все обновления будут уже до версии 2a.
Также в U2a появилось немало нововведений для VMware vSphere with Tanzu:
Supervisor Cluster
Управление ресурсами Kubernetes через Virtual Machine Service. Об этом мы подробно писали тут.
Самостоятельное создание пространств имен со стороны разработчиков (по шаблону, заданному администратором, который определяет лимиты и права доступа).
Tanzu Kubernetes Grid Service for vSphere
Сервер Kubernetes metrics-server включен по умолчанию. Основные параметры узлов и Pod'ов можно смотреть командой kubectl top.
Система обработки webhooks теперь поддерживает dry-run mode. Теперь такие популярные утилиты, как, например, Terraform Kubernetes provider можно интегрировать с Tanzu Kubernetes Grid Service.
Кастомные классы виртуальных машин (Virtual Machine Classes), которые потребляются через службы VM Service. Это позволяет пользователям выделить различные параметры CPU и памяти, которая выделена виртуальным машинам в кластере Tanzu Kubernetes Cluster.
Обновить инфраструктуру на vSphere 7 Update 2a можно следующими командами в консоли:
В вышедшем на днях обновлении VMware vSphere 7 Update 2a (обновился только vCenter) компания VMware представила службу vSphere Virtual Machine Service (она же VM Service), которая дает разработчикам и администраторам, работающих со средой контейнеров Kubernetes в решении vSphere with Tanzu, возможности по развертыванию виртуальных машин.
Это позволит командам DevOps управлять инфраструктурой виртуальных машин и контейнеров через стандартные Kubernetes API, обеспечивая единый процесс по развертыванию новых служб и доступности инфраструктуры.
Служба VM Service дополняет ранее анонсированные службы Network Service и Storage Service, которые дают возможности по управлению через API сетью и хранилищем, соответственно, в среде vSphere with Tanzu. Вот хороший обзор новых функций VM Service:
Со стороны vSphere служба встроена напрямую в vCenter, она позволяет управлять образами ВМ (VM Images / Content Libraries) и классами ВМ (VM Classes / VM sizing).
Со стороны Kubernetes компонент называется VM Operator, он создает и обслуживает ресурсы Kubernetes Custom Resources (CRs/CRDs), а также общается с компонентом на стороне vSphere.
VM Service даст компаниям следующие преимущества:
Разработчикам в среде Kubernetes больше не требуется создавать заявки на создание ВМ для администраторов.
Администратор может преконфигурировать заданные классы ВМ, доступные разработчикам, задав лимиты их ресурсов, а также обеспечив защиту и изоляцию от продуктивного окружения.
Некоторые приложения в контейнерах, например, могут использовать базу данных, размещенную в ВМ. В этом случае разработчик сможет создать спецификацию такого сервиса в YAML и обслуживать такую структуру самостоятельно.
Open Source природа сервиса позволит дорабатывать и создавать новые службы с учетом потребностей больших команд. Репозиторий компонента VM Operator находится тут.
Более подробно о службе vSphere Virtual Machine Service рассказано в этой статье. Служба VM Service доступна в последнем релизе VMware vSphere 7 Update 2a.
На сайте проекта VMware Labs появилось обновление утилиты VMware Event Broker Appliance (VEBA) v0.6. Напомним, что это решение, которое позволяет пользователям создавать сценарии автоматизации на базе событий, генерируемых в VMware vCenter Service. Например, VEBA может выполнять такие рабочие процессы, как автоматическое привязывание нужного тэга ко вновь создаваемой виртуальной машине. Работает он по модели "If This Then That". О версии VEBA 0.5, вышедшей в декабре прошлого года, мы писали вот тут.
Давайте посмотрим, что нового в VEBA 0.6:
1. Функции Embedded Knative
Еще в прошлой версии VEBA поддерживал serverless-приложения Knative в качестве процессора событий, теперь же эта опция выбрана по умолчанию. Делать ничего не потребуется, нужно просто нажать Next.
2. Интеграция с пользовательским интерфейсом vSphere Client
Теперь в клиенте можно установить плагин VMware Event Broker, который доступен из инвентаря (только для варианта развертывания Knative):
В плагине есть 3 блока функций VEBA:
Events – это первая точка настройки событий vCenter Server. Пользователям теперь не нужно ковыряться в репозитории vCenter Event Mappings repo, они могут видеть все события в окружении vCenter.
Functions - здесь можно увидеть все развернутые функции и создавать переменные окружения.
Secrets - здесь задаются пароли (secrets), используемые в функциях.
Для регистрации плагина VEBA понадобится доступ к vCenter Server:
3. Поддержка PowerShell для Knative
VEBA использует механизм CloudEvents для преобразования событий vCenter Server в рабочую нагрузку, которая может потребляться сценариями PowerShell. PowerShell SDK для CloudEvents опубликован в PowerShell Gallery, запустить его установку можно командой Install-Module CloudEvents.Sdk:
4. Репозиторий Knative Sample Functions
Для помощи новичкам был создан репозиторий по адресу: https://vmweventbroker.io/examples-knative. Пока есть сценарии реализации на PowerShell, но скоро будут добавлены примеры на Python и Go.
5. Просмотрщик vSphere CloudEvents Viewer
С помощью сервиса Sockeye по адресу https://[FQDN-VEBA]/events можно увидеть просмотрщик событий vCenter Server, которые можно фильтровать:
Фильтры можно группировать с помощью элемента + Add Filter:
Можно также скопировать сгенерированный JSON для события, чтобы самостоятельно симулировать его в окружении vCenter.
Более подробно о функциях новой версии VMware Event Broker Appliance 0.6 можно почитать в статье Вильяма Лама. Скачать последнюю версию виртуального модуля можно тут. Ну и небольшой видеообзор от коллег, имеющих непосредственное отношение к выпуску обновления:
На сайте проекта VMware Labs недавно обновился основной клиент для управления инфраструктурой vSphere - VMware vSphere Client, а через пару дней после этого обновился и мобильный клиент - вышел vSphere Mobile Client версии 2.2. Напомним, что последний раз об этом клиенте мы писали летом прошлого года вот тут.
Давайте посмотрим, что нового появилось в мобильном клиенте, начиная с версии 2.0:
Добавлена поддержка VMware Cloud в части VMware Cloud on AWS, что позволяет получить доступ к облачным серверам через мобильное устройство
Добавлен фильтр по серьезности проблем в разделах Alarm и Events
Добавлена клавиша Windows в виртуальной клавиатуре и для сочетаний клавиш
Улучшена стабильность консоли ВМ при повороте устройства
Добавлена забытая кнопка Back в разделах страниц логина
Обновлены иконки и сплэш-скрины
Теперь на странице деталей ВМ есть навигация по связанным объектам
Страница деталей виртуальной машины грузится быстрее, когда ВМ выключена
Скачать vSphere Mobile Client 2.2 можно по этим ссылкам:
Также не забудьте посмотреть инструкцию о развертывании Notification Service, чтобы включить Push-уведомления на своих устройствах. Его можно развернуть в одном из двух вариантов:
Клиентам новой площадки доступен весь спектр услуг «ИТ-ГРАД». Сервис актуален для компаний, которые используют облачные технологии для цифровизации бизнеса. Для связи между площадками используются выделенные каналы, позволяющие предоставлять заказчикам геораспределенные сервисы.
Облачная среда запущена с использованием высокочастотных процессоров Intel Xeon Gold 6248R с базовой тактовой частотой 3ГГц, а также Intel Xeon Platinum 8268 с частотой 2,9 ГГц. Новые процессоры обеспечивают высокую производительность клиентских приложений, чувствительных к частоте процессора, таких как 1С и SAP.
В качестве платформы виртуализации «ИТ-ГРАД» использует VMware vSphere 7.0. Для управления виртуальной инфраструктурой заказчикам предоставляется персональный портал самообслуживания. Для размещения данных используются системы хранения Huawei Dorado 8000 v6 в состав которых входят быстрые твердотельные накопители с поддержкой технологии NVME. Этот тип дисков подходит для размещения высоконагруженных ERP-систем. Резервное копирование и восстановление данных в облаке осуществляется с помощью системы Veeam Backup & Replication 11.
«Спрос на облачные сервисы растет с каждым годом и «ИТ-ГРАД» увеличивает количество площадок для обеспечения потребностей бизнеса. Linxdatacenter стал нашей пятой облачной площадкой, наряду с дата-центрами в Москве, Санкт-Петербурге и Алматы. Клиенты облака имеют единый высокий уровень сервиса на всех локациях», – прокомментировала генеральный директор «ИТ-ГРАД» Ирина Харченко.
Подробнее о Linxdatacenter:
Linxdatacenter входит в топ-5 провайдеров услуг ЦОД в РФ в 2020 году по версии CNews. Дата-центр в Санкт-Петербурге расположен по адресу: ул. Репищева, д. 20А.
Площадка соответствует уровню надежности TIER III по стандарту TIA-942 и методологии Uptime Institute, подтвержденному сертификатом Uptime Institute Management & Operations Stamp of Approval.
На сайте проекта VMware Labs обновился основной клиент VMware vSphere на базе технологии HTML5 (он же vSphere Client в составе платформы VMware). Напомним, что старый клиент Web Client на базе Adobe Flex ушел в прошлое, и VMware предлагает использовать только новый клиент для управления виртуальной инфраструктурой.
Кстати, VMware vSphere HTML5 Web Client версии 5.0 (build 15670023) - это первое обновление клиента за довольно долгое время. Давайте посмотрим, что там появилось нового:
Обновлена документация (в том числе инструкции, где находятся файлы и сервисы клиента)
Добавлен новый язык для функции Code Capture - теперь записанные во время сессии действия могут транслироваться в код на языке Go.
PowerActions - это новый механизм интеграции PowerCLI и vSphere Client. Теперь в клиенте есть функциональность по запуску отдельных команд и сценариев PowerCLI, а также функции их хранения в библиотеке скриптов. Исполнение кастомных действий скриптов можно привязать к объектам из inventory в клиенте.
Функцию PowerActions надо включать отдельно при развертывании клиента (см. документ PowerActions_documentation_Fling50.pdf).
Базовая операционная система виртуального модуля vSphere Client была заменена на Photon OS, поэтому апгрейд с прошлой версии не поддерживается - придется развертывать все по-новой.
Загрузить новую версию клиента VMware vSphere HTML5 Web Client 5.0 можно по этой ссылке. Инструкции по установке и использованию доступны тут. Также много всего интересного есть в комбо-боксе выбора компонентов загрузки:
Как знают многие администраторы VMware vSphere, у этого вендора есть платформа VMware Customer Connect Learning, которая объединяет различные каналы обучения ИТ-специалистов. На этой платформе вы можете получить доступ к обучающим видео, интерактивным лабораторным работам, руководствам по подготовке к сертификационным экзаменам и материалам инструкторов по продуктам VMware vSphere, vSAN, Horizon, NSX, vRealize Suite и многим другим.
Подписка Customer Connect Learning состоит из трех уровней:
Basic Tier - начальный уровень для операторов, консультантов и специалистов начального уровня. Здесь включены обзорные материалы по продуктам, курсы eLearning и траблшутинга, а также некоторый контент от экспертов.
Premium Tier - это уже полноценная подписка для администраторов и профессионалов по продуктам VMware, которая включает в себя Learning Video Library, тестирование текущих навыков и подготовку к сертификациям.
Enterprise Tier - предложение для компаний и ИТ-департаментов, которое включает в себя комплексный подход к обучению рабочих групп. Здесь есть и on-demand курсы, лабораторные работы hands-on labs, тренинги в виртуальных рабочих классах, трекинг прогресса обучения и многое другое.
Вот небольшая инфографика от VMware по теме подписок на обучение:
Подписка Customer Connect Learning Basic включает в себя:
Более 60 обучающих модулей e-learning
1357 обучающих видео
Материалы для подготовки к экзаменам VMware Certified Technical Associate
Подписка Customer Connect Learning Premium включает в себя:
Более 65 обучающих модулей e-learning
Более 1500 видео в стиле "how-to"
650 видео для подготовки к экзаменам VMware Certified Professional (VCP) и VMware Certified Advanced Professional (VCAP)
Контент для уровня VMware Certified Technical Associate (VCTA)
Цена премиальной подписки Customer Connect Learning Premium Subscription составляет 268,14 евро в год, включая VAT (218 евро без VAT):
Купить Customer Connect Learning Premium Subscription можно здесь. Надо понимать, что премиум-подписка не включает в себя Hands-on Labs, получить их можно только в рамках Enterprise-подписки.
Некоторое время назад мы опубликовали статью о протоколах NTP и PTP, которые отвечают за работу служб точного времени для хоста ESXi и виртуальных машин.
Оказывается, в весеннем обновлении VMware vSphere 7 Update 2 появилась поддержка нового механизма Precision Time for Windows. Раньше для почти всех задач в виртуальных машинах использовалась связка NTP+Active Directory, которая работает отлично в подавляющем большинстве случаев. NTP обеспечивает точность на уровне миллисекунд, а если нужна какая-то большая точность (например, финансовые приложения), то тут можно использовать специальное оборудование с поддержкой PTP (Precision Time Protocol).
VMware решила сделать еще одно улучшение для пользователей, которым требуется повышенная чувствительность служб точного времени. Теперь в vSphere 7 Update 2 есть поддержка Precision Time for Windows - механизма, который улучшает точность синхронизации времени в ОС Windows.
Сервис Windows Time Service (W32Time) - это служба, которая опирается на NTP и предоставляет клиентам ОС информацию о точном времени. В основном она нужна для синхронизации времени между хостами в Active Directory, но уже вышла за рамки этих задач и может быть использована приложениями. Архитектура W32Time построена на базе плагинов, что означает, что DLL-библиотека может быть зарегистрирована как провайдер служб точного времени. Это могут быть как чисто программные решения, так и комплексные системы со специальным оборудованием с поддержкой PTP-протокола.
API-интерфейсы для разработки таких плагинов находятся в открытом доступе, каждый может написать свой собственный. Вот и VMware разработала свой VMware Time Provider (vmwTimeProvider), который поставляется вместе с VMware Tools для ВМ на базе Windows. Он получает время от виртуального устройства Precision Clock (оно появилось еще в vSphere 7.0) и передает его на сторону W32Time по закрытому и быстрому каналу (на базе технологии паравиртуализации), минуя сетевой стек.
vmwTimeProvider - это плагин, работающий в пространстве user-space. По идее такое устройство требовало бы собственный драйвер, но у VMware есть собственный паравиртуализованный интерфейс, который использует преимущества технологии Memory-mapped I/O (MMIO), оптимизированной под операции чтения.
Устройство Precision Clock получает время от ядра гипервизора (VMkernel), одним из источников является устройство HyperClock, поставляющее в ядро системное время. Таким образом, если вы настроите VMkernel и HyperClock на получение времени через Precision Time Protocol (PTP), то устройство Precision Clock будет передавать его в виртуальные машины с большой точностью.
Ну и в завершение надо отметить, что vmwTimeProvider не выбран по умолчанию при установке, так как он не нужен системам без специальных требований к службам времени.
VMware проводит обучающие вебинары о самых инновационных технологиях в областях сетевой инфраструктуры, информационной безопасности, современных приложений и облачных технологий. Не упустите шанс узнать о решениях для ИТ-инфраструктуры в вашей компании!
Портфель компании давно выходит за рамки виртуализации и включает решения в области:
Модернизации, мониторинга и запуска приложений
Миграции в облако
Сетей и безопасности
Каждый вторник и четверг с 16 марта по 1 июня на вебинарах VMware будет рассказывать:
Как поменялась архитектура сетевых функций после прихода программной определяемости
Какие непривычные возможности получают привычные инструменты ИБ, когда они работают на уровне платформы
Какие новые технологии в области виртуализации и информационной безопасности нас ждут
Какие инструменты есть у VMware для управления частными и гибридными облаками
Почему важно следить за использованием ресурсов и при чем здесь инструменты Инфраструктуры-как-код
Вебинары подойдут как для начинающих, так и для опытных ИТ-специалистов, которые хотят расширить свои знания о самых инновационных технологиях в областях сетевой инфраструктуры, информационной безопасности, современных приложений и облачных технологий.
На сайте проекта VMware Labs вышло обновление VMware ESXi Arm Edition 1.3. Напомним, что эта версия гипервизора VMware предназначена для процессоров ARM (на их базе построена, например, архитектура Raspberry Pi, а также многие IoT-устройства). О прошлом релизе этой платформы мы писали вот тут.
Давайте посмотрим, что нового в ESXi для ARM:
Улучшенная аппаратная совместимость (множество исправлений ошибок и улучшений по поддержке железа).
Добавлена экспериментальная поддержка архитектуры Ampere Altra (только для односокетных систем (подробнее тут).
Поддержка ACPI для виртуальных машин.
Поддержка загрузки через NVMe и PVSCSI в EFI.
Добавлен воркэраунд для загрузки с ISO для некоторых ARM-серверов.
Пофикшена проблема с падением современных ОС при работе на системах на базе Neoverse N1.
Улучшен механизм виртуализации контроллера прерываний для гостевых ОС.
Улучшены средства работы с виртуальными PMU.
Улучена поддержка big endian.
Скачать установочный образ VMware ESXi Arm Edition 1.3 можно по этой ссылке. Помните, что апгрейд с предыдущей версии не поддерживается - надо устанавливать заново.
Небольшое обзорное видео установки ESXi Arm Edition: